Entropija (teorija informacija)

Ovaj članak ili neki od njegovih odlomaka nije dovoljno potkrijepljen izvorima (literatura, veb-sajtovi ili drugi izvori). Ako se pravilno ne potkrijepe pouzdanim izvorima, sporne rečenice i navodi mogli bi biti izbrisani. Pomozite Wikipediji tako što ćete navesti validne izvore putem referenci te nakon toga možete ukloniti ovaj šablon.

Ovom članku potrebna je jezička standardizacija, preuređivanje ili reorganizacija. Pogledajte kako poboljšati članak, kliknite na link uredi i doradite članak vodeći računa o jezičkim i stilskim standardima Wikipedije. Ako niste sigurni kako bi članak trebao izgledati, pogledajte neke od dobrih članaka.

U teoriji informacije, entropija je mera neodređenosti pridružena slučajnoj promjenljivoj. U ovom kontekstu, obično se misli na Shannonovu entropiju, koja kvantifikuje očekivanu vrijednost informacije sadržane u poruci, obično u jedinicama kao što su biti. Ekvivalentno, Shannonova entropija je mjera prosječnog informacionog sadržaja koji se propušta kada se ne zna vrijednost slučajne promjenljive. Koncept je uveo Claude Shannon u svom čuvenom radu iz 1948. godine „Matematička teorija komunikacija“.

Shannonova entropija predstavlja apsolutnu granicu najbolje moguće kompresije bez gubitaka bilo kakve komunikacije, pod izvjesnim ograničenjima: ako tretiramo poruke da su kodirane kao niz nezavisnih slučajnih promjenljivih sa istom raspodjelom, prva Shannonova teorema pokazuje da, u graničnom slučaju, srednja dužina najkraće moguće reprezentacije za kodiranje poruka u datom alfabetu je njihova entropija podijeljena sa logaritmom broja simbola u ciljnom alfabetu.

Jedno bacanje fer novčića nosi entropiju od jednog bita. Dva bacanja - dva bita. Brzina entropije za novčić je jedan bit po bacanju. Međutim, ako novčić nije fer, tada je neodređenost manja (ako bismo morali da se kladimo na ishod narednog pokušaja, vjerovatno ćemo se kladiti na češći rezultat), pa je i Shannonova entropija manja. Matematički, jedno bacanje novčića (fer ili ne) predstavlja Bernoulijev eksperiment, a njegova entropija data je binarnom entropijskom funkcijom. Niz bacanja novčića sa dvije glave imaće nultu entropiju, jer su ishodi potpuno predvidljivi. Brzina entropije teksta na engleskom je od 1 do 1,5 bita po slovu, odnosno od 0,6 do 1,3 bita po slovu, prema procjenama baziranim na eksperimentima.